Josef Mengele lahir sebagai anak sulung kepada tiga adik beradik lelaki pada 16 Mac, 1911 di Günzburg, Bavaria. Bapanya Karl Mengele adalah pengasas Karl Mengele & Sons, sebuah syarikat mesin perladangan yang besar di sana. Josef Mengele adalah seorang yang bersopan santun dan popular di pekan tersebut. Beliau juga bijaksana dan telah melanjutkan pelajarannya dalam bidang Falsafah di Munich dan memperoleh PhD dalam Antropologi dari Ludwig-Maximilian-Universität München (Universiti Munich) pada tahun 1935. Disertasinya adalah berkenaan perbezaan ras dalam struktur rahang bawah manusia. Pada Januari 1937, di Institute for Hereditary Biology and Racial Hygiene di Frankfurt, beliau menjadi pembantu kepada Dr. Otmar Freiherr von Verschuer seorang saintis yang menerajui bidang genetik khususnya berkenaan anak kembar. Melalui kerjasama ini, tumbuhlah minat beliau yang amat mendalam dalam kajian baka terutamanya berkaitan anak kembar.

Pada 1937 beliau menyertai parti Nazi, dan setahun kemudian beliau menyertai Schutzstaffel atau lebih dikenali sebagai SS. Pada tahun tahun 1938 juga, beliau telah mendapat ijazah dalam bidang perubatan. Beliau terkenal sebagai seorang yang berani di medan perang dan telah dianugerahkan beberapa pingat atas keberaniannya. Namun demikian, penglibatannya sebagai tentera berakhir pada 1942 apabila cedera semasa operasi di Rusia dan beliau diisythiharkan tak sesuai sebagai tentera. Beliau kemudiannya dinaikkan pangkat sebagai kepten dan diberi tugasan pejabat di Pejabat Ras dan Penempatan Semula di Berlin. Di sana, beliau ditemukan semula dengan mentornya iaitu Dr. Otmar.